On equitably approaching and joining a group of interacting humans

International audience— In this work we introduce a low-level system that could be employed by a social robot like a robotic wheelchair or a humanoid, for approaching a group of interacting humans, in order to become a part of the interaction. Taking into account an interaction space that is created when at least two humans interact, a meeting point can be calculated where the robot should reach in order to equitably share space among the interacting group. We propose a sensor-based control task which uses the position and orientation of the humans with respect to the sensor as inputs, to reach the said meeting point while respecting spatial social constraints. Trials in simulation demonstrate the convergence of the control task and its capability as a low-level system for human-aware navigation

Low complex sensor-based shared control for power wheelchair navigation

International audienceMotor or visual impairments may prevent a user from steering a wheelchair effectively in indoor environments. In such cases, joystick jerks arising from uncontrolled motions may lead to collisions with obstacles. We here propose a perceptive shared control system that progressively corrects the trajectory as a user manually drives the wheelchair, by means of a sensor-based shared control law capable of smoothly avoiding obstacles. This control law is based on a low complex optimization framework validated through simulations and extensive clinical trials. The provided model uses distance information. Therefore, for low-cost considerations, we use ultrasonic sensors to measure the distances around the wheelchair. The solution therefore provides an efficient assistive tool that does not alter the quality of experience perceived by the user, while ensuring his security in hazardous situations

Caractérisant le contrôle assisté partagé à l'aide de concepts fondées sur la vision et axées sur l'homme pour des fauteuils roulants intelligents

Earliest records of a wheeled chair used to transport a person with disability dates back to the 6th century in China. With the exception of the collapsible X-frame wheelchairs invented in 1933, 1400 years of human scientific evolution has not radically changed the initial wheelchair design. Meanwhile, advancements in computing, and the development of artificial intelligence since the mid 1980s, has inevitably led to research on Intelligent Wheelchairs. Rather than focusing on improving the underlying design, the core objective of making a wheelchair intelligent is to make it more accessible. Even though the invention of the powered wheelchairs have partially mitigated a user's dependence on other people for their daily routines, some disabilities that affect limb movements, motor or visual coordination, make it impossible for a user to operate a common electrically powered wheelchair. Accessibility can also thus be thought of as the idea, where the wheelchair adapts to the user malady such that he/she is able to utilize its assistive capabilities to the fullest.While it is certain that intelligent robots are poised to address a growing number of issues in the service and medical care industries, it is important to resolve how humans and users interact with robots in order to accomplish common objectives. Particularly in the assistive intelligent wheelchair domain, preserving a sense of autonomy with the user is required, as individual agency is essential for his/her physical and social well being. This work thus aims to globally characterize the idea of assistive shared control while particularly devoting the attention to two issues within the intelligent assistive wheelchair domain viz. vision-based assistance and human-aware navigation. Recognizing the fundamental tasks that a wheelchair user may have to execute in indoor environments, we design low-cost vision-based assistance framework for corridor navigation. The framework provides progressive assistance for the tasks of safe corridor following and doorway passing. Evaluation of the framework is carried out on a robotised off-the-shelf wheelchair. From the proposed plug and play design, we infer an adaptive formulation for sharing control between user and robot. Furthermore, keeping in mind that wheelchairs are assistive devices that operate in human environments, it is important to consider the issue of human-awareness within wheelchair mobility. We leverage spatial social conventions from anthropology to surmise wheelchair navigation in human environments. Moreover, we propose a motion strategy that can be embedded on a social robot (such as an intelligent wheelchair) that allows it to equitably approach and join a group of humans in interaction. Based on the lessons learnt from the proposed designs for wheelchair mobility assistance, we can finally mathematically formalize adaptive shared control for assistive motion planning. In closing, we demonstrate this formalism in order to design a general framework for assistive wheelchair navigation in human environments.Les premiers documents attestant l’utilisation d’une chaise à roues utilisèe pour transporter une personne avec un handicap datent du 6ème siècle en Chine. À l’exception des fauteuils roulants pliables X-frame inventés en 1933, 1400 ans d’évolution de la science humaine n’ont pas changé radicalement la conception initiale des fauteuils roulants. Pendant ce temps, les progrès de l’informatique et le développement de l’intelligence artificielle depuis le milieu des années 1980 ont conduit inévitablement à la conduite de recherches sur des fauteuils roulants intelligents.Plutôt que de se concentrer sur l’amélioration de la conception sous-jacente, l’objectif principal de faire un fauteuil roulant intelligent est de le rendre le plus accessible. Même si l’invention des fauteuils roulants motorisés ont partiellement atténué la dépendance d’un utilisateur à d’autres personnes pour la réalisation de leurs actes quotidiens, certains handicaps qui affectent les mouvements des membres, le moteur ou la coordination visuelle, rendent impossible l’utilisationd?un fauteuil roulant électrique classique. L’accessibilité peut donc être interprétée comme l’idéed’un fauteuil roulant adaptée à la pathologie de l’utilisateur de telle sorte que il / elle soit capabled’utiliser les outils d’assistance.S’il est certain que les robots intelligents sont prêts à répondre à un nombre croissant deproblèmes dans les industries de services et de santé, il est important de comprendre la façon dont les humains et les utilisateurs interagissent avec des robots afin d’atteindre des objectifs communs. En particulier dans le domaine des fauteuils roulants intelligents d’assistance, la préservation du sentiment d’autonomie de l’utilisateur est nécessaire, dans la mesure où la lib-erté individuelle est essentielle pour le bien-être physique et social. De façon globale, ce travail vise donc à caractériser l’idée d’une assistance par contrôle partagé, et se concentre tout particulièrement sur deux problématiques relatives au domaine de la robotique d’assistance appliquée au fauteuil roulant intelligent, à savoir une assistance basée sur la vision et la navigation en présence d’humains.En ciblant les tâches fondamentales qu’un utilisateur de fauteuil roulant peut avoir à exécuter lors d’une navigation en intérieur, une solution d’assistance à bas coût, basée vision, est conçue pour la navigation dans un couloir. Le système fournit une assistance progressive pour les tâches de suivi de couloir et de passage de porte en toute sécurité. L’évaluation du système est réalisée à partir d’un fauteuil roulant électrique de série et robotisé. A partir de la solutionplug and play imaginée, une formulation adaptative pour le contrôle partagé entre l’utilisateur et le robot est déduite. De plus, dans la mesure où les fauteuils roulants sont des dispositifs fonctionnels qui opèrent en présence d’humains, il est important de considérer la question des environnements peuplés d’humains pour répondre de façon complète à la problématique de la mobilité en fauteuil roulant. En s’appuyant sur les concepts issus de l’anthropologie, et notam-ment sur les conventions sociales spatiales, une modélisation de la navigation en fauteuil roulant en présence d’humains est donc proposée. De plus, une stratégie de navigation, qui peut être intégrée sur un robot social (comme un fauteuil roulant intelligent), permet d’aborder un groupe d’humains en interaction de façon équitable et de se joindre à eux de façon socialement acceptable.Enfin, à partir des enseignements tirés des solutions proposées d’aide à la mobilité en fauteuil roulant, nous pouvons formaliser mathèmatiquement un contrôle adaptatif partagé pour la planification de mouvement relatif à l’assistance à la navigation. La validation de ce formalismepermet de proposer une structure générale pour les solutions de navigation assistée en fauteuil roulant et en présence d’humains

Caractérisation d'une assistance par contrôle partagé : conception d'une solution basée vision d'aide à la navigation en environnement humain pour les fauteuils roulants

Earliest records of a wheeled chair used to transport a person with disability dates back to the 6m century in China. With the exception of the collapsible X-frame wheelchairs invented in 1933, 1400 years of human scientific evolution has not radically changed the initial wheelchair design. Meanwhile, advancements in computing and the development of artificial intelligence since the mid-1980s has inevitably led to research on Intelligent Wheelchairs. Rather than focusing on improving the underlying design, the core objective of making a wheelchair intelligent is to make it more accessible. Even though the invention of the powered wheelchairs have partially mitigated a user's dependence on other people for their daily routines, some disabilities that affect limb movements, motor or visual coordination, make il impossible for a user to operate a common powered wheelchair. Accessibility can also thus be thought of as the idea, where the wheelchair adapts to the user malady such that he/she is able to utilize its assistive capabilities. While it is certain that intelligent robots are poised to address a growing number of issues in the service and medical care industries, it is important to resolve how humans and users interact with robots in order to accomplish common objectives. Particularly in the assistive intelligent wheelchair domain, preserving a sense of autonomy with the user is required, as individual agency is essential for his/her physical and social well-being. This work thus aims to globally characterize the idea of assistive shared control while particularly devoting the attention to two issues within the intelligent assistive wheelchair domain viz. vision-based assistance and human-aware navigation.Recognizing the fundamental tasks that a wheelchair user may have to execute in indoor environments, we design low­cost vision-based assistance framework for corridor navigation. The framework provides progressive assistance for the tasks of safe corridor following and doorway passing. Evaluation of the framework is carried out on a robotized off-the­shelf wheelchair. From the proposed plug and play design, we infer an adaptive formulation for sharing control between user and robot. Furthermore, keeping in mind that wheelchairs are assistive devices that operate in human environments, it is important to consider the issue of human-awareness within wheelchair mobility. We leverage spatial social conventions from anthropology to surmise wheelchair navigation in human environments. Moreover, we propose a motion strategy that can be embedded on a social robot (such as an intelligent wheelchair) that allows il to equitably approach and join a group of humans in interaction. Based on the lessons learnt from the proposed designs for wheelchair mobility assistance, we can finally mathematically formalize adaptive shared control for assistive motion planning. ln closing, we demonstrate this formalism in order to design a general framework for assistive wheelchair navigation in human environments.Les premiers documents attestant l'utilisation d'une chaise à roues utilisée pour transporter une personne avec un handicap datent du 6ème siècle en Chine. À l'exception des fauteuils roulants pliables X-frame inventés en 1933, 1400 ans d'évolution de la science humaine n'ont pas changé radicalement la conception initiale des fauteuils roulants. Pendant ce temps, les progrès de l'informatique et le développement de l'intelligence artificielle depuis le milieu des années 1980 ont conduit inévitablement à la conduite de recherches sur des fauteuils roulants intelligents. Plutôt que de se concentrer sur l'amélioration de la conception sous-jacente, l'objectif principal de faire un fauteuil roulant intelligent est de le rendre le plus accessible. Même si l'invention des fauteuils roulants motorisés ont partiellement atténué la dépendance d'un utilisateur à d'autres personnes pour la réalisation de leurs actes quotidiens, certains handicaps qui affectent les mouvements des membres, le moteur ou la coordination visuelle, rendent impossible l'utilisation d'un fauteuil roulant électrique classique. L'accessibilité peut donc être interprétée comme l'idée d'un fauteuil roulant adaptée à la pathologie de l'utilisateur de telle sorte que il / elle soit capable d'utiliser les outils d'assistance. S'il est certain que les robots intelligents sont prêts à répondre à un nombre croissant de problèmes dans les industries de services et de santé, il est important de comprendre la façon dont les humains et les utilisateurs interagissent avec des robots afin d'atteindre des objectifs communs. En particulier dans le domaine des fauteuils roulants intelligents d'assistance, la préservation du sentiment d'autonomie de l'utilisateur est nécessaire, dans la mesure où la liberté individuelle est essentielle pour le bien-être physique et social. De façon globale, ce travail vise donc à caractériser l'idée d'une assistance par contrôle partagé, et se concentre tout particulièrement sur deux problématiques relatives au domaine de la robotique d'assistance appliquée au fauteuil roulant intelligent, à savoir une assistance basée sur la vision et la navigation en présence d'humains. En ciblant les tâches fondamentales qu'un utilisateur de fauteuil roulant peut avoir à exécuter lors d'une navigation en intérieur, une solution d'assistance à bas coût, basée vision, est conçue pour la navigation dans un couloir. Le système fournit une assistance progressive pour les tâches de suivi de couloir et de passage de porte en toute sécurité. L'évaluation du système est réalisée à partir d'un fauteuil roulant électrique de série et robotisé. A partir de la solution plug and play imaginée, une formulation adaptative pour le contrôle partagé entre l'utilisateur et le robot est déduite. De plus, dans la mesure où les fauteuils roulants sont des dispositifs fonctionnels qui opèrent en présence d'humains, il est important de considérer la question des environnements peuplés d'humains pour répondre de façon complète à la problématique de la mobilité en fauteuil roulant. En s'appuyant sur les concepts issus de l'anthropologie, et notamment sur les conventions sociales spatiales, une modélisation de la navigation en fauteuil roulant en présence d'humains est donc proposée. De plus, une stratégie de navigation, qui peut être intégrée sur un robot social (comme un fauteuil roulant intelligent), permet d'aborder un groupe d'humains en interaction de façon équitable et de se joindre à eux de façon socialement acceptable. Enfin, à partir des enseignements tirés des solutions proposées d'aide à la mobilité en fauteuil roulant, nous pouvons formaliser mathématiquement un contrôle adaptatif partagé pour la planification de mouvement relatif à l'assistance à la navigation. La validation de ce formalisme permet de proposer une structure générale pour les solutions de navigation assistée en fauteuil roulant et en présence d'humains

A semi-autonomous framework for human-aware and user intention driven wheelchair mobility assistance

International audience— An important aspect to be taken care of while designing assistive robots for mobility is that they need to operate among humans. Thus understanding human spatial social conventions and incorporating them in the assistive solutions, is important. In this paper, we introduce a semi-autonomous framework for assistive wheelchair navigation in human environments , which is driven by the intention of the wheelchair user. Safe and socially compliant motion provided by a user intention driven local motion planner is fused with user teleoperation in order to create such a system. Taking into account the fact that the user is the primary controller, our proposed system aims to provide progressive assistance whenever the user is in danger of collision or at risk of disturbance to other humans. We also thus propose generalized formulations for estimating user intentions and for sharing control within the context of wheelchair mobility assistance, that is adaptable in order to be deployed in real world systems. We then evaluate the proposed framework in simulation in order to obtain a quantitative analysis. We also provide experimental evidence using an off-the-shelf robotized wheelchair equipped with a single 2D laser scanner

A visual servoing approach for autonomous corridor following and doorway passing in a wheelchair

International audienceNavigating within an unknown indoor environment using an electric wheelchair is a challenging task, especially if the user suffers from severe disabilities. In order to reduce fatigability and increase autonomy, control architectures have to be designed that would assist users in wheelchair navigation. We present a framework for vision-based autonomous indoor navigation in an electric wheelchair capable of following corridors, and passing through open doorways using a single doorpost. Visual features extracted from cameras on board the wheelchair are used as inputs for image based controllers built-in the wheelchair. It has to be noted that no a-priori information is utilised except for the assumption that the wheelchair moves in a typical indoor environment while the system is coarsely calibrated. The designed control schemes have been implemented onto a robotized wheelchair and experimental results show the robust behaviour of the designed system

Visual servoing for autonomous doorway passing in a wheelchair using a single doorpost

International audienceConstrained spaces like doorways make efficient navigation using a wheelchair difficult and hazardous, especially in the cases where the user suffers from motor impairments. This paper introduces a monocular vision based autonomous framework for the fundamental task of doorway passing in an electric wheelchair. We propose a novel Lyapunov-based visual control process which is used to generate a smooth trajectory about a single doorpost. The scheme relies on line features which represent the doorposts in an image to calculate the wheelchair motion. This framework ensures that the wheelchair is able to pass the doorway regardless of its starting position. Results of experiments on a robotic wheelchair show that the system is able to perform robustly in different corridors with a variety of door representations

Analysis of an adaptive strategy for equitably approaching and joining human interactions

International audience— Since social, assistive and companion robots need to navigate within human crowds, understanding spatial social conventions while designing navigation solutions for such robots is an essential issue. This work presents an analysis of an socially compliant robot motion strategy that could be employed by social robots such as humanoids, service robots or intelligent wheelchairs, for approaching and joining humans groups in interaction, and then become an equitable part of the interaction. Following our previous work that formalized the motion strategy, a detailed synthesis is presented here with experiments that validate the proposed system in the real world

Vision-based adaptive assistance and haptic guidance for safe wheelchair corridor following

International audienc